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Summary of DE 195 37 010 Al 



DE 195 37 010 Al concerns a learning method and device for 
simulating a dynamic process by simultaneous learning of at 
least two time series each of which representing different 
process parameters. For each parameter of the process, a 
particular learning component is provided which bases on 
process data of the past. An optimum learning result is 
obtained by a decorrelation technique. 

DE 195 37 010 Al represents technological background with 
regard to the use of neural networks. It does not disclose a 
method for detecting the modes of a dynamic system with a 
drift segmentation model as claimed in the above U.S. patent 
application . 
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® Lemverfahren und -anordnung zur Nachb&dung eines dynami&chen Processes durch gememsames Erlernan 
von mindeatena zwel Zeitraihen r welche jewefls varachiedene Proze&obaervable darstetfen 

@ Larnvarfahreri und -anordnung zur NachbQdung einea . 
dynamischen Prozeaaea durch gemdnaamaa Erlernen von 
mindeatant zwel Zeitraihen. welche JaweBa verachiedena 
Prozafiobaarvabla darataiien. 

Mft dar Erflrtduog wird aine nauartiga Anordnung und afn 
rteuartigee Lemvarfahran air Naahbildung kompiexar Pro- 
zaaaa angegeben. FOr Jade ObaervaWa dea Prozaaaaa wJrd 
aine aigena lamfShlgo Kornponante faereltgeateltt, dar tedig- 
tlch Vergangenhertswerte dar varwandatan Beobachtunga* 
grcfien zugef&hrt warden. Oiaaar Vorgang wird dutch die 
gawahlte Anordnung unterstOtzt, Eln optimaiai Larnargabnia 
wird erzlelt mdem bairn Training die jawailiga Gegenwarta- 
a komponanta von ihren Varganganhaltswartan und da nan der 
andaren Beobachtungagrd&an optimal dafcorreilart wird. Bel 
J dar DurchfOhrung dea Varfahrana wfrd aine baaondara 
gQnadga Koatanf unktion angegebea. Auf dar ArcrtHakturaai- 
> ta wird dam Verfahran dadurch Rech ruing gatragen, dafi die 
■ Geganwartawarta der ZaitraJhen direfct durcbgeechlelft war* 
) dan und ledlgilch addftiv mit dar AusgangsgrtSSe aus dar 
Lernkomponante varknflpft warden. 
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Beschreibung 

Lernverfahren und -anordmmg air Nachbfldung zincs dynaimschen Prozesses dnrch gcmemsames Erlernen 
von mmdestens zwei Zeitreihen, welche jewens verschiedene ProzeBobservable darstellen. 
5 Die Erfindung bezieht sich auf em neuartiges Lernverfahren und eme vorteilhaftc Ano^dI^lngzu^Du^dlfiJh' 
^mg dieses Leruverfafcrens zur Nachmldimg technischer oder biologrscher Prozesse. 

Zur Nachahnmng komplexer tecmnischer Systeme werden haufig ternffihige Komponenten etngesetzt, urn die 
Prozesse oder Systeme nachbflden zu kfinnerL Dieseii Systemen 1st dabei zueigen, daB sie seibsttfitig die 
Proze&eigenschaften erlernen fconnea and ach an das Verhalten des nachzimilde&den Prozesses anpasscn. 
to Insbesondere werden solche Systeme fur Prozesse dngesetzt, welche in hobem MaBe nicht detennfnistbcb smdl 
oder die im hohen Grad stnehasrisch verlaufcn. Hanfig werden for Steuer* und Regelprobleme in diesem 
Zusammenhang neuronale Netze oder Fuzzy-Regier eingesetzt 

Bei bister gfingigen Trainigsverfahren fur beispielsweise nenronale Netze; werden dem neuronalen Netz 
Bingangszeitrdhen zugefuhrt und die ausgegebenen Wale des Netzes mit den Eingangswcrten vergtfehen. Der 
15 Lernerfblg wird daran gemessen, inwieweit sicb die Ausgangswerte den Eingangswerten azmanern. Dutch 
gfingige Me thodenwenien die Gewicn^ 

um erne Anpassung, also ein Training des Netzes durcbfllbren zu konnen. Wefrere Le mverfa hren sind derzeit 
nicbt bekamit 

Die der Erfindung zugnmdeliegende Aufjgabe besteht darin, eine Lernanordnung tmd ein Verfabren anznge- 
20 ben, womxtmehrere verschiedene Observablen eines Prozesses gememsamzur B eslimmun g einer AnsgangsgrO- 
Be dieses Leraverfahrens, bzw.dleser Lemamrdnung bettragen. Insbesondere solldurch das erfindimgsgem&Be 
Verfabren sichergesteDt werden, dafi nicbt eine AnsgangsgrSfie sdfast zur Messung des Lernerfolges herangezo- 
gen wird* 

Diese Auf gabewh^ fur das Leraverf^^ 1 und fOr die Lernan- 

25 ordnong gemfiB den Merkmalendes Patentanspniches 6 geldst 

Weiterbildungen der Erfindung ergeben sich aus den abhfingigenAnspr&iiexi. 

Bin besonderer Vorteil des erfindungsgemiBen Verfahrens bestebt darin, daB zur Bildung emer Gegenwarts- 
komponente aQe Vergangenneitekomponenten von Zeitreihen der verschiedensten Observablen herangezogen 
werden. Besonders vorteilhaft wird dorcb die optimale Dekorrelationder Gegenwartswerte von alien Vergan- 
30 genheitswerten sichergestelit, daB der mammal mdgliche Lernerfolg eingestelk werden kann. 

Uin den Rnchenaafwand beim erfindungsgemflBen Verfahren und bei dg Anordnang vereinfachen zu konnen 
werden lecftglich die Gegenwartakomponentai dorcb die Funlddonsapproximatorea verfindert und die Vergan- 
genheitskomponeaten im wesentftchen unverfiadert an die Ausgange weitergegeben. 
Vorteilhaft werden beim erfindimgsgemiBen Verfahren zur emfacheren Weiterverarbeitung und Normierung 
35 die anszugebenden Werte mit einer zwiscben 0 und 1 beschrSnkten dmerenzierbaren Funktion, beispielsweise 
einer sigmoiden Funktion, bearbeitet 

Besonders vorteilhaft kemnen nacb dem erfindnngsgemfiBen Verfabren Observable danacb aiisgewdhlt wer- 
den, inwieweit sie nQtzliche mformatkmeii zmn LernprozeB des jeweiEgen Funktionsapprarimators behragen. 
Etn MaB fflr diese NfltzBchkeit einer solchen Observablen ist das KorrelationsiiiaB, das zwiscben ihr und den 
40 anderen Observablen gebildet werden kann. Je werter diese Observable dekorrellierbar ist; desto nfftzlicher ist 
sie for den LernprozeB des erff ndimgsgemaBen Verfahrens and einer erfindungsgemaBen Anordnung. 

Besonders vorteilhaft wird das ei^ndungsgeniaBe Verfabren mit der angegebenen ELostenftmktion dnrchge- 
fubrt da sie sowohl das Infbmax-Prinzip bdnhahet als auch die Korrelation bewertet: Mit dem Infomax-Prinzip 
wird in diesem Zusammenhang sjcfaergestellt, daB ein Maximuni an Information von den Emggngen des Verfab- 
45 iws^bzw.derArionmungandieAnsgftngewem 

Besonders vortcilbaft zur Diircnfunrnng des erflndungsgemaBen Veifahrens eignet sicb eine Leroanordnung; 
welche fur jede Observable Funkdonsapproadamtionsmittel zur Verhlgung steHt Dadnrch, daB dteen Funk- 
tkmsapproximartonsmhtehi ledigfidb die Vergangenhdtswerte aller Observablen zugefunrt werden, wird schon 
anoninungsseirig sichergestellt, daB die Gegenwartswerte und Vergangenheitswerte dekorreliert werden kdn- 
50 nen. 

Besonders vorteilhaft wird ran solcber Fonktionsapproximator in Form eines neuronalen Netzes reaiisiert, da 
diese weitestgehend untersudit sind und in beliebiger Vietfalt auch als Emulaticmsprogramine zur VerfQgung 
stehen. 

Im folgenden wird die Erfindung anhand von Flguren weiter erlSutert 
5S Fig. lgibtemBeispidemererfliichn^ 

Hg. 2 gibt ein Beispiel fflr einen technisdien ProzeBV 

Fig. 3 zdgt Betspiele der Auswirkimgen des erfindungsgemifien Verfahrens nacb Anwendung auf den ProzeB 
inFI^Z 

In Fig; I ist em Beispiel emer erfindungsgemfiBen Lernanordnung dargestellt En vorrangiges Ziel der 
eo erfindungsgemfiBen Anordnung und des erfindungsgemfiBen Verfahrens besteht in der midtrvariaten M odeQie- 
rung von Zeitreihen. Beispielsweise werden die zeitEcben Entwicldungen von SystemgrOBen eines dynamtschen 
Systems mit Hilfe ernes muhivariaten KCodeBs auf unuberwachte Weise gelerat Eingabewerte des Systems sind 
beispielsweise die MeBwerte mebrerer Observablen des betrachteten Systems. ErfindungsgemfiB wird daraus 
extrahiert, auf welche Weise dn Zeitreihenwert einer Observablen von der eigenen Vergangenhdt und von der 
65 Vergangenheit weiterer Observabler abhingt Resultat der erfindungsgemiBen Vorgehmsweise ist eine Dekor- 
relation zwiscben der Gegenwart und der Vergangenheit der betrachteten Zeitremen* 

Koirelanonen hflherer Ordnung, also sowohl lineare als audi nichtUneare Abhingiglvitra zwischen den 
gemessenen Observablen kdnnen dabei extrahiert werden. Diese Korrelationsanaryse gibt beispielsweise Auf- 
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schlnB darflber, ob weitere MeflgrGBen dues Systems gegenfiber schon gegebenen Observabien auch tatsich- 
lich neue Information, fiber das betrachtete System fieferiL Weiterhin kann nach dem Leravorgang die extrahier- 
te Abh&ngzgkdt zwischen Gcgenwart and Vergangenheit zur Vorhersage durch die der Zdtrdhenwerte and 
somit zukflnftiger SystemznstSnde verwendet werden. Diese Prognose gestaitet sich besonders einfach, denndie 
Fuiiktionsapproximatoren reprSsenrieren AbbSckmgen, nach denea sich die Zehxeihen der Observabien zeitlicb 5 
fortenrwicfcdn. Besonders vorteilhaft kann man das erfindungsgemaBe Verfahren und eine Anordnung zur 
Dorchfuhning des Verfahrens also dafflr verwenden, daB die zdtliche Entwicklung einer ganz bestimmten 
SystemgrdBe eriernt wird, in dem gelernt wird, wie cfiese GroBe von der eigenen Vergangenheit, als auch van der 
zusStzficher anderer Observabien abhflngt Zum anderen fcBnnen Abhangigkeiten zwischen den verschiedenen 
Gr6Ben erkannt werden. 10 

Besonders vorteilhaft wird dnrch das erfindungsgemfifle Verfahren and eine Anordnung zu dessen Durchffib* 
rung die Verbindung von unfiberwaciitem Lernen und muliivariater Zeitrethenanalyse hergesteilt Damh gestal- 
tet sich anf erSndungsgemSfie Weise die Simultanmodellienmg mehrerer SystemgrftBen besonders einfach, 
Insbesondere weist das erfmdungsgexntfle Verfahren keine Besdiriskung anf lineare oder normal verteilte 
AbMngigkdtea zwischen den Zdtreihenwerten auf. Weiterfam wird durch das erfindungsgemfiBc Verfahren 15 
eine besonders einfache Kostenfunktxon znr VerfBgung gesteflt, wdche bezfigfich ihrer Anwendnng aber erne 
groBe AHgemeinheit aufweist 

Die VorteSe des erfuxdungsgemiBen Verfahrens bestehen insbesondere darin, daB es f&hig ist Korrdationen 
bdiebtger Art und Ordnung zu extrahieren. Weiterhin wdst es eine besonders niedrige Einbettnngsdimension 
auf; das heiBt weniger vergangene Zdtrexhenwerte je verwendeter Observabler, als bd univariater Modellte- 20 
rung sind natig. Besonders gOnstig wird durch das ernxdungsgem&Be Verfahren der negative Einflufl von 
MeBrausehen vermindert Weiterhin wird dnrch das erfindungsgemaBe Verfahren alle vorhandene Information 
optimal genntzt, indem sowohl aBe zur Verfuguitg stdienden Observabien, als audi behebig vide zdtverzSgerte 
Werte dieser Observabien bd der Modd&erung Vcrwendung finden. 

im Stand der Technik sind die Grundlagen der univariaten Zeitreihenmoddlieruiig mit unfiberwachtem 25 
Lernen in [D5d5) angegeben. Beispide znr Phasenraumrekonstniktion mit zdtverzdgerten Variabien geben 
[SYC91] an. Fur Qberwacbte Lernverfahren zur ZertreihenanaJyse sind in [LFB7] Bdspide angegeben. Die 
Grundlagen zur Herldtung der erfindungsgemfiB angewandten Kostenfunktion ergeben sich aus [NP94] und 
dem mathematischen ErklartmgsteiL Fig. 1 zeigt das multivariate Model! znr Zdnreihenanalyse tun Bcjspiel 
zwder Observabler und dner jeweils zweidimensionalen Embettung (es wird zwd Zehschritte in die Vergan- so 
genhdt geschaut). Die Zdtreihe der ersten Observabien ist mit x und iSe der zweiten Observabien mh y 
bezeicimet Die entsprecnefiden Werte der Zdtrdhen werden der erfmdnngsgemSBen Anordnung an den 
Ezng&ngen zugerHhrL Dabd ist za beachten, daft das erfindangsgemftBe Verfahren and die erfindnngsgem§Be 
Anordnung sowohl was die Anzahl der smultan eingespeisten Observabien, als auch was die HSbe der Einbet- 
tungsdimensionen in jeder Observabien (Anzahl der zdtfich zurfckfiegenden Werte), wefche mcht fur afle 35 
Observabien gldch sein mussen, beGebig erweitert werden kann. werden beispiefswdse Vektoren eingege- 
ben, wdche sich aus Elementen der MeBreihen der verwendeten Observabien zosammensetzen. Dieses Prinzip 
Lst als Methode der zettverzogerten Koordinaten (delay coordinate) oder auch ds Takens-Methode bekannt. 
Die Takens-Methode ist dabd dne Methode, die Trajektorien des Phasenraums, bzw. deren Dynamik hi einem 
Einbetttingsraum mittels zeitverzdgerter Koordinaten zu rekonstruierea Die Anzahl der dazn benfidgten 40 
Werte je Rekonstrakttonsvektor ist durch die Embettungsdhnension gegd>en, die wiederum von der Dimension 
des Phasenraums bzw. des Attraktors auf dem sich das System bewegt besthnmt wird. Im Falle zwete- Zdtrei- 
hen entsteht der Gesamtvektor also beispidsweise aus zwd zeidtch aufemanderfolgenden Werten emer x- und 
einer y-Zdtreihe. Jede einzehie Observable tr§gt dabd d -f t Komponeaf en znrn Sngabevektor bd» wenn d Dire 
Embettungsdimensioa bezddmeL Weiterhin steuert jede Observable eine relativ zu den anderen Werten 4$ 
neueste Komponente zum Eingabevektor bdL die im fo^enden als Gegenwartskomponente oder -wert bezeich- 
net wird. Die Obrigen^ wdter zuruddiegenden Wale werden im folgenden Vergangenlidtskomponenten oder 
•werte genannt Wie aus Fig. I erkannt werden kann, besteht dor Qngabevektor also aus xt-i, Xt-2 und y& 
Yt-b sowie Yt-2» Dabd bezdchnen xt und yt die Gegenwartswerte, wfihrend Xt-i, xt-2 und yt-i, Yt-2 die 
Vergangenhettswerte reprSsentiCTen. Die fQr die Anwendnng des erfindungsgemSBen Verfahrens ndtige Vid- 50 
zahl solchCT Bngabevektoren (LernVlVainingsdaten) erhdit man durch sdirrttweises Durxhwandern jeweils 
gesamter Zdtreihen. Sind beispidsweise die Zdtreihendemente au&tdgend mit i» 2, 3, ... numeriert, dann 
besteht der erste Beitrag cfieser Zehreihe zum Gesamtdngabevektor aus den Elementen 1, 2, 3, der zwdte 
Bdtrag betspidsweise aus den Elementen 2,3,4) der dritte aus 3, 4>5 osw. Es ist beispielsweise ebenfalls mdgfidi 
bei Anwendnng des erfindnngsgemaBen Verfahrens die Sprungweite innerhalb der Zehreihe grdBer als Eins zu 55 
wihlea Beispielsweise werden aHe Eingabewerte, bis auf die jeweBs zdtfich neuesten jeder Obswvablen, das 
heiBt genau die Vergangenhettswerte mit emer beispielsweise sigmoiden Obertragungsfunktion 

auf den Berdch zwisdien Null und Bins beschrankt, ansonsten aber unverandert ausgegeben. Es kann dafBr aber 
auch jede beliebige andere zwisdien 0 und 1 beschrtnkte difierenzierbare Funktion verwendet werden. Die 
Gegenwartskomponenten werden zu den Funktionswerten von Funkdonsapproximatoren Fu F7 addiert, die 65 
sowohl von den Vergangenhdtswerten der jeweils eigenen Zeitreihe, als auch von denjenigen der Qbrigen 
Zdtreihen abhfingen. Dabd wird durch das erflndungsgem&Be V«fahren und die Anordnung sichergesteUt, daB 
kein Zdtreihenwert EinfluB hat auf ale von ihm aus gesehen zddich znrBckliegenden Werte. Besonders die 
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KausafitSt des modeSmea Prozesses bldbt damft audi im Modell erhalten. Die Fnnkdonsapproximatoren 
approximieren die Abbfldiingsvorechrirten. welche den zdtfichen Entwickiangen dcr Zettreihen zugrundefiegen. 
POr jede Zdtrdhe gibt cs betspidsweise einen solchen Approximator. Hicr ist fOr die x-Zdtreihe in FI& 1 dsr 
Funtokmapprorimator mit Fi und fQr die y-Zdtreihe der Funktiom^prorimator mit Fz bezdchnet. Beispids- 
weise kann fOr jeden dieser Fonktioi^ppfoxniiatoren era etgenes nettronales Netz verweadet werden. Es sind 
9 ^ 9r tttrfi Hiwrftatift ftitH^TR lgmfgKgfe grnnpomnten in diesem Znsammenhang denkbar. Nach dem erfindnngs- 
gemaBen Verfahren werden die frden Parameter cfieser Iemfifaigen Komponenten, wdche die appruxiuiierten 
Fcroktionen bestimmexir iterativ infblge der Minimienrng dncr Koslenfimktioa immer besser angepaQt Es liegt 
also dn Leruvorgang vor. Dieser Lcrnvorgang wird im folgenden anhand dnes Bdspiels wetter erlSntcrt 

Kadi der Summation der Gegenwartskomponente mit der Ansgabe des zngehdrigen Funktionsapproxiina- 
tors, in Fig. 1 mit einem + gekennzeidmet, erfolgt ancfa bier beispielswrire die nicht l im are Transformation mit 
derbdspiebweise ygmnirfm Obertragungsfimktion, welche nnn jedoch einen variablen Parameter a emhllt: 



15 



1+e" 



(2) 



20 



Beim erfia<bmgsgeni3fien Verfahren werden die versdnedenen Eingabevekioren beispidswefee als ReaBsie- 
nmgen eines stocfaastischen Prozesses aufgefaBt und prodtszierea als solche auch dne Wabrscbdnlichkehsver- 
teihmg am Ausgang, wdche durdi die Eingangsverteihing induziert wktL In Fig; 1 sind die Ausginge mit z 
bezriehnet Der Vektor, der die Ausgaben vor der abschliefienden mcbtEnearen transformation durch die 
sigmoide Obertragimgsftmktion enthalt; heifit im folgenden postsynaptisches Potential In den Formeln im 
mathematiscben Erklantngsteil and in Kg, 1 wird es mit dem mathemafiscfacn Symbol b bezdcbnet Sdne 
Komponenteu lauten h* Diejenjgen Komponenten des postsynaptischea Potentials, die von den Vergangen- 
25 bdtswerten abfaangen, reproduzieren die Emgangsvertdbmg- Nor cfie Vertdlung derjenigen Komponenten des 
postsynaptischen Potentials, welche von den Gegenwartskomponenten der Zdtreflie berriihren, werden nach 
dem erfindungsgemaBen Verfahren durch Siren jcwefligen Fanktwnsapprodmator beeinfluBt Falls den zdtH- 
dienEnrwickiimgendermitersiiditen Zehrdhen Abbfldimgsvorscbriften zugrunddiegen. so aufiernsich diese in 
Form stHt^yr*^- Ahhflnrgk^^ zwiaohen den dnzebten Zritrejhewerten einer Zeitreihe und audi m Form von 
30 Abhangigkeiten zwischen den verschiedenen Zdtrdben. Ein MaB ffir cfie statotische Abhangigkdt ist cfie 
Redondanz der gemdnsamen (multidimensionalen) Verteflimg, Diese Abhangigkeiten liegen auch in der Ansga- 
bevertdlung von Bine Tniniirml* Redundanz ist erreicht, wenn die Emzelkomponenten vondnander statistisch 
^HiHyigig aiwL Durch statistische Dekorrdatkm der zu den Gegenwartskomponenten gehOratden postsynap- 
tisdien Potentiate von den ilbrigen Komponenten des postsynaptischen Potentials, weldie die Eingabevertei- 
35 fang TTpr^iTi^^ feann wntar <W ^pSwntm B^irig imgm A« Minimum in der Ansgabcre d u nd a nz erreicht 
werden. Durch das erfindungsgemaBe Verfahren wird so sichergestellt, daB ein manxnaler Lernerfolg bdm 

Tr ttimng mm^t ^rAm^rtn nipi^ U^n^wwrrnnrnnwn ict rnieirlrt, warn cfie postsynaptisdien Potentiate CfffT 

Gegenwartskon^Kmenten konstante Werte fidern, also statistisdi nnabhangig von den Obrigen postsynapti- 
sdien Potentialen sind Die entsprecheftdenYerteilungen mBssen also 6-peak darstellen. Flfr (fiesen Fall gilt 

40 

xt+FiCxt-iA-ay«-uyt^2)=ci (3) 
yt + F^xt- l^t-ayt- 1^-2) -c^ (4) 
45 trnddamit 

xt - — Fifo-i*t-2yt^«yt~2)+Ci (S) 
yt - — Fa{xt-. u xt-.2^ct- 1^1-2)+ ea (6) 

Dip KiOTterjf rmtlion ft* A« <%rfifiHitngsggmgBe unflberwachte Ler n ver fa hren muB also zn Red ond a nzm inimie- 
rung fQhren. Denn aus Formel 3 wird deutlich, daB cfie FcnktkMisapprtxrimatoren znr Eriangung mmimaler 
Rednndanz die funktionalen Abhangigkeiten reprasentieren mfissen. Infolge d« Dekorrdationsvorgax^es war- 
den folglkrb Fnnktionen erfaalten, wdche die zdtfiche Entwicklung der untersudbten Zdtrdhen besdirdberL Im 
55 betrachteten Bdspid in Fig; 1 also Fi und F2- Mit diesen Funktionen wird die anschlieBende Vorhersage 
zukfinftigcs* Zdtreihenwerte ermd^Sdht Zusatzlich muB bdspidsweise die im Modell Gbertragene Information 
maximiert werden (Lmsleer's Infomax-Prinzip [LinB8]). Als zu maxknierexide Funktfon^ wdcbe beide Anforde- 
rangen gleichzeitig erfuHt wird bdm ^Tmdung^emaBea Verfahren vorzi^swdse folgender Term, verwendet: 



60 



(7> 



Dieser Term, stellt cfie KiiUback-Ldbler-Dktanz 
teibmg und dem Prodnkt der Abldtimg der 
Funktioa gegeben darch 



Obertragungsfanktionen am Ausgang, beispidsweise als sigmoide 
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f(x)-erf(xXl-W (8) 

dan Zur Maximierang der Gleichung 7, bzw, Mmimierong der Gleichung % also sowohl zur Gewichtsadaptiou 
beispieisweise der neuronalen Netze, weiche die einzelnen Funktiocsapprnxunatoren biiden, als auch ffir die 
Optimierung der Parameter ai und c&2 der Obertragungsfunktionen fflrdieinit dem Gegenwartskomponentea 5 
korrespondierenden Ausgaben, kann beispieisweise Alopex [UV94J an Standardoptimierungsverfahren {fir 
neuronale Netze verwendet werden, Bei der Implementierung QBt sich als Approximation fQr das Integra] aiis 
Gleichung 7 die Summe 



(9) 



verwenden, die dann als Kostanfunktion im erGndtrngsgemSflen Verfabrea mimmiert wird Darin bedeutet p die 
Anzahl der Ausgabewerte, bier m diesem Beispid p — 6, M die Anzahl der Eingaberauster and h m bzw. hj™ das 
muiti- bzw, eindimensionale postsynapnsche Potential, wdches vom m-ten Muster erzeugt wurde. Die multidi- 
mensionale Dicbte *F wird beispieisweise rnit Histogrammen dutch Boxcounting geschatzt: 



*{h m y=~ZZ (10) 

wobei M wieder die Anzabl der Eingabemuster ist b^ das postsynaptische Potential das vomm-ten Eingabemu- 
ster erzeugt wird, und ZZ die Anzahi der Punkte im Wflrfel l>ezeichnet, der den Wert h** 1 enthalt Mit 1 ist 
darin die Kantenltoge des Wflrf efe benannt Die sigmoiden Funkuonen, weiche auf die postsynaptischea Poten- 
tz ale angewendet werden sicd in Fig; 1 am Beispiel von z* mit SI bezeichnet Die Wirfcung der Anw endung des 
erfadungsgem&Ben Verfahrens und der erficdangsgemSfien Lemanordnung wird in Fig. 2 and 3 verdeutlkbt 30 

Als technischer ProzeB wird beispieisweise ein Beispiel aas der Stromnngsdyiiamik, das Tayior-Couette-Sy- 
stem gezeigt Das Taytor-Couette-System besteht aus zwei fcoaxialen Kreiszyfindera Zl und Z2, deren Zwi- 
schenraum mit einer Flussigkdt gefflllt ist Der innere Zyiinder Zl rotiert um die gemeinsame Achse in Fig. 2 mit 
GA bezdchnet und verursacht damh ab enter bestimmten Drehzahl, die Rotation est durch emeu Pfeil R 
symbolisiert, die BUdung statioflirer gegensinnig rotierender Taylor- WirbeL In Fig. 2 sind diese Tayfor-Wirbel 3S 
als KS gekennzeichfiet Der iuBere Zyiinder ist zur Vera nschauf icfaung des ^ re» m m^nftayi g« bier durcbsichtig 
dargestellt Bei diesem Beispiel wird von exnera Zustand statbndrer Tayfor-Wirbel mit leicbt ausgebildeter 
Turboienz ausgegangen. Das Beispiel verdeudiebt die Oberlegenheit muinvariater Modelfierung; Mer am Bei- 
spiel der Verwendung einer zweiten Zeitreihe, gegeniiber untvariater Modelfierung. FQr diesea experimentdlen 
Befund werden zwei Zeitreihen durcb Messung axiaier Gesdiv?ina%keitskoinponenten an den Wirbeln A und B 40 
gewonnen. Diese beiden Observablen fflhren zu zwei verschiedenen Zeitreiiien im folgenden ebenfalls mit A 
bzw. B bezeichnet Der Ergebnisse des erfmdungsgem&Ben Verfahrens sind fQr die zwei verschiedenen Observa- 
blen in Fig. 3 untereinander dargesteSt Zur Darstellung der Ergebnisse wurden die Zeitreihen sowohl einzein^ 
als audi simoitan detorrefiert Die M odeiliernng mit einer Zeitreihen unhrariat bedeutet, daS dem zur jewelEgen 
Zeitredie geh5renden Funktionsapproximator nor die Vergangenbeitswerte der eigenen ZeiCreibe zur VerfB- 45 
gimg gestellt wurdea Oberkreuzkorrelationen kdnnen im nnivariaten Fall nicnt genGtzt werden. 

Dargeste&t sind fax Fig. 3 die postsynaptiscben Potentiate der Gegenwartskomponenten der Zehrdben A 
Pinks) and B (rechts) fflr jedes Eingabemnster. Unter a, das beiSt in den obersten beiden Diagrammen werden die 
Wertevor dem Dekoirelalionsvorgang, das heiBt bei zafMiger Wahl der Modellparameter in den Funktionsap- 
proximatoren dargestellt Da, wte zuvor bereits erwSbnt wurde, im Ideaifall die Funktbnen einen B-peak so 
. repr&entieren soilen ist die Blickrichtung auf die Diagramme vorgegebea Ste ist bier mit P bezeichnet. Es kann 
erkaimt werden, dafi unter a sowohl die Zeitreibe A and B sehr wdt streuen. Unter b sind die Ergebnisse ffir 
univariate Dekorrelatkm dmrgestefit Diese univariate Dekonrelation ist nicht Gegenstand der erfindungsgema- 
Ben Anordnung and des erfindungsgemtBen Lenxverfabrens. Se <fiept lecfigiicb zur Veranscbauiicbiing des 
durch die Erfindnng gegebenen tedinischen Fortschritts. Unter c sind letztEch die Ergebnisse fur Dekorrelation 55 
mit zwei Zeitreihen, also bivariate Dekorrelatioii dargestellt Deutiich kann hier erkannt werden, daB aus der 
Biickrichtong P betracbtet nahezu ein S-peaks vorliegen. Deutficb kdnnen auch gegenQber b die schmaleren 
Streubereicbe der Knrven erkannt werden. Falls nun als Gedankenbeispid unter c eine Karve mit ihnficber 
Streubreite vorlfige, wie die unter b fur die Zeitreibe A, so wurde dies bedeuten, daB (fie zus&tz&ch zur besseren 
Dekorrdation von Zeitreibe A gewflhlte Observable B, aus welcher die Zdtrdhe B gebildet wurde, keine so 
zusatziiche Information fQr das Lernen des Fankttonsapproximators von A liefert Es sofite also vorzugswdse 
eine andere Observable gewihlt werden, weiche zu einer Verbesserung des Dekorrelationsergebnisses fOhrt 
Diedetaillierten ZusanunenMngesind im nun folgenden mathematiscben EriiuterungsteO wdter dargestellt 

Mathematkcber Erkl&rungsteil 55 

Im folgenden fassen wir audi das GesamtmodeU als Netz auf und bezesebnen entsprechend Ein- und Ausgabe- 
werte als Neuronen. Falls nicbts anderes erwthnt wird, sind alle verwendeten Gr&Ben vekloriell zu verstehen. 
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Jedes einzehe Neaion eines Netzes errechnet aus seiner mehrdimensioiialen Eingabe v seine Aklxvienmg 
(Ausgabe) in zwei Schriitea Zimlchst wird v mit emem Gewicbtsvektor m skaiarmufopliziert and nach dtesem 
ersten Verarbeitungsscfcritt entsteht das postsynapdsche Potential hi 



20 



Das postsynaptische Potential h ist also eine deterministische Funktbn des Eingangssignals des Natrons: Mit 
io der nichtiinearen Tramf crf unktion f wird es auf das Ausgangspotential V (Aktivienmg des Neurons) abgeWdeU 

V-fC* (2) 

Hierbei ist f cine faefiebige nichtfineare Funktion, cfie aber zwischen 0 mid I beschrflnkt und invertierbar sein 
15 soil In Betracht feommt z» B. (fie sigmoide Funktion 

/w „ _L_ (?) 

mit der Ableitung 

25 wobei der Parameter a die Stdgung und damit dent Bereich nahczu fincarer Abbfldung gegenflber nichtGnearer 
Ober iragung bestumuL 

"Wir betrachtea mm speziell die Neuronen der Aragabeschicht Die Dimension der Ausgabesdndit sei p. 
Erweitert auf den allgemekien Fall mebrerer Neuronal sind h und V als vektorielle Gr6Ben zu verstehen. Das 
mehrdimensionale Eingangssignal des Netzes £ indunert das postsynaptische Potential h mit VerteBung ?(h) am 

30 Ausgang. Daher ist h eine detemnmstisdie Funktioa des ZufaBsvektors £, wobei h beliebige mchtliaeare 
Ttansformatioaen enthalten kann. Liegen n&mfich erne oder mehrere mchtOneare Schichten zwischen Eingabe- 
cmd Aragabeschicht, dann stelh das Netz einen aUgeraeinen Funktionsapproximator dar. Derartige Transfarma- 
tionen zwischen Eingabe 5 und postsynaptischem Potential h rind mcht notwendigerweise bijektiv- Es fcann also 
etwas von der Emgangsinformation bei der Obertragung durch das Netz verforengehen. Unscr 23el ist es nun, 

35 die Transformation ijg, V) zwischen Emgabe und Ausgabe des Netzes zu maximieren, am so erne mdglichst 
verlastfrde Obertragung zn gew&hrleisteifc Da infcKinationstheoretisdie Gr5Ben nnr fOr Zuraflsvariabien defi- 
niert sind. mCssen wir zus Itzlich kOnstiiche s Rauschen z mit Verteiluiig \(z) am Au sgangspoten tial V hmzufQgen. 
Wir erhalten die Aktivierungen der Ausgangmeuronen V als emen zweiten Zufallsvektor 

40 V-fl[h)+z. (5) 



wobei f erne mvertierbare Transferranktkm mit 0 < ft < I fur alle Kjomponenten i = 1, ... «p 1st Fur <fie 
einzdnen Aregaiggsafajvierungen haben wir also 

45 Vi - {j<b9+zufSri - l f .-.jn (6) 

Ncben den durch die jeweiligen Gewicbte vorgegebenen Potentialen hi kduiten sxcb such die TVansferfmiktio- 
nen h von Neuron zu Neuron unterschetden. Aufgrand des lecfigEcfa theoretischen Zwecks ist die Wahrschein- 
fichkeitsverteilung v(z) des adefitiven Rauschens z hierbei befiebig, wobei z jedoch als unabhSngig von h 
so angenommen wird (die zfs mfissen keine untereinander tmahhingigen Zufaflsvariablen sein). Die RauschstSrke 
set dabci wie folgt defimert: 

wobei A die Rauschstirke eines einze!iien Ausgabeneurons bezeiebnet und < > Mittehmg fiber die v{zj}-Vertei- 
lungbedeutet 

Zusfttzfich zur Tira asM oi m adon V) zwischen Eingabe und Ausgabe betrachten wir nun (fie Transmfonna- 
€0 tion I(h, V) zwischen dem Potential b und der Ausgabe. Uuter der Voraussetzung. daB kein Eiugangsrauscben 
vorhanden ist, sind I(^V) und I^^gleic^ Daher k5nnen wir die weitaus handKcbere GroBe V) betracbten, 
um den Informatkrastransfer des Netzwerkes zu maximieren. Im folgenden woUen wir deshalb einen anatyti- 
schen Ausdruck fur Ifh, V) berteiten, der nur von den adaptierbaren Netzparametern abh§ngt (vgL [NP94]). Me 
TYanshxformation zwischen den ZufaDsvektoren h und V ist gegeben durch 

€5 
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(8J 



Hierbei ist Q(V}h) die bedingte Wahrscheiniichkat von V bei bekannteni li und ergibt rich geraiiB (5) zu: 
«V]h)=v(V-ft1i)). (9) 

AIs resultierende Ausgangsvert eihing erhalt man: io 
q(V)- W)Q(Vlh)dk (10) 

Auf grand der AdditivitSt des Raoschens Iflfit sich die IVansinforniatbn I audi als Differenz zwischen den 
Entropies der Ausgangs- and Rauschverteifaingen darsteflen: 15 

I-H<q)-H(v)i (H) 

Der erstcTenn in (1 1) ist die dftferentieUe Entropie der WajgsnheniRrihkflitsyerteflungq: 
H(q) - - Jq(V)toq<V)dV. (12) 

Per zwefte Term in(l 1) h&ngtimrvoiider Verteflnng des Ramriiens afa: 

H(v)--f(z)ln{v(3))dz. (13) 25 

Im Fall, daB vs (i—1, ... ,p) erne GauBvertefloog ist, ist H(vi) gieich % !n(2raA). Da ffie GauSverteflimg die 
grdBte Entropie imter aQen Verteilungen gcgebener Varianz hat, gilt 

|/*(2ff«A). (M) 

Wemi also A gegen null gent, streben die Einzelentropien H(vi) gegen minus unendBch. Es foigt dann, daB 
dami t au di <He gemeinsame Entropie gegen minus unendlich gent Der zweite Term am (11) strebt also gegen 33 
unendlich. Von den beiden GrdBen ans (11) ist fur uns aber ledig&ch H(q) von Interesse, da skn nor H(q) durch 
die Adaption von f bzwv der Gewichte beeinflussen ISBt Um die IVansinlonnation 1 231 maxxnrferen, gik e$ also, 
die Ausgangsentropie H(q) za maximierea Fflr eine gegebene RauscbstSrke erzwingt diese Maodmierung der 
Entropie die Bijektivit&t der Transformation von £ nach h, was ja genau nnser Ziel war. Dies fbigt aus der 
Tatsache, daB Nk&tbijekthitfit eine niedrigere Entropie nach sich ztebt Werden mehrere Emgabewerte auf 40 
gieiche Ansgabewerte abgebildet, dann ninimt die Unskiierheit im Ausgabecode and daxnit aueh die Entropie 
ab. Diese Argumentation gilt aHerdings nur, weil die Ausgangstransferninktbnea beschrSnkt smd. Diese Ein- 
schrSnkung stchert zu, daB ale Ansgangsentropie nicht ad infinitum erhdht werden kann, indem der BEdbereich 
der erzeugten Ausgabe gestreckt wird Ab tinem bestimmten Stadium bleibt dem Netz fcigfich za einer 
weiteren Erh5bung der Entropie ledigfch das Kfittel der B\jektivitat Ohrig. 45 

Im Limes verschwindenden Rauschens hat die Grdfie H(q) einen endHchenGrenzwert FOrA— ►Owirdqzu 



q (y) = /«r(&)^-/(i))n^» (is) 

* i 

Eingesetzt in (12) ergibt sich H(q)zu 

*(«) - -/ JldTi fRdhj*(h)S(Vs- £(&,)) (I?) 

In /n^*(*) 'm ~ (18) 

= -fU^i^)^fUd^(h)S (19) 
i h 
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Um die restfichen Delta- Integrationen ausf Qhren za kOnnen, machen wir die Substitutional 
W = fi(Ki) {jk aJs Fnnktion -ran £r) (20) 

5 mid 

m = ftihi) i» mmmt den festea Wert fi(hi) an) (5) 
U und wir erhalten gchHeWteh 

m = -fU^( h )^fJL^-^^^-&) (S) 
= -/^•w^nSflta- (5) 

FOr die Entropie H(q) und dmmit fQr den relevanten Tefl der Transinformation I erhalten wir somit den 
Axtsdrack 

25 

* 

30 wobei 

«<*> 



Da wir 0 < & < 1 fllr afle i — 1, ... a p angenommen haben, erfOllt jedes fi die Voraussctzung cincr 
Wahrscheiiilichkdrtsverteilung (Integration von — «> bis ergibt sick zu eins). Damit kann man dann 
DCFljllkfk') als KMlteck'Leibler-Distam: zwischea der P&tentialverteikuig V wad der Wahrscheinlidkkett auffes- 
40 s^dicdurehdas Prodiiktderfidefiniert is^ 

ang eno mmtm wird, wemi die beidCT Yerteiliingen (bis auf Nutimengen) identisch smd. 

Wir hatten fest: die Transiittormalion ist bis aof dne Konstante (gegeben durch die Rauscbentropie) gleich 
minus der Eoiiback-Leibler-Dislaiiz zwischen der PotentialverteiluQg und dor Produktverteilnng, die durch die 
Ablettungen der Transferfimktionen dargestcllt wird. Maad mi enmg der Transinformatlan ist aquhralent zur 
45 Minimienmg der Kullback-Leibler-Distaiiz. Der optimale Fall von D ™ 0 wird genau dann erreicht, wenn 

*ih)=UMhi) (27) 

i 

gilt Damit wird auBerdem klanem faktorieUer Code von Y(h),d h. 
* 

ermdglitixt cine Maxnnierung dor iibertragenen Information, Die optimalen Transferfcnbtionen ergeben sich 
dann ffftifatrh ^n 

60 ^^Y^mri-l,...^ (29) 

und kflnnen fflr jedes Neuron unabhSngig von den anderen adjustiert werdexi. 

Faktorisieruog der Verteilung des postsynaptischen Ansgangspotentials ist aber gldchbedeatend mit Redun- 
danzmininuerung. Als Ergebnis dieses Abschnitts erhalten wir damit: 

65 
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RBDUNDANZMINIMIEB&NG 

INFORM ATIONSMAXIMIERUNG % (30) s 

onter der Voraussetznn& da6 die TVansf erfunktionen geraSB (29) optimal angepafit werden. 

Gnige Bemerkungen: da wir von fi zuoSchst our Invertierbarkeit gefordert haben, kime auch eine strong 
mcMioton faOende Funktion mit negativer Ableitung als Transferfunktion in Frage. In dm Glddiungen (15) bis 10 
(29) wire daim die aUgemeinere Fonn mit (f^bi^ anstette von f i((bi) zu verwenden imd man erhidte als 
alternative LSsung fQr (29) Pi = — ^ Wir woQen am aber im folgenden aitf die sigmoide Funktion aus (3) 
beschrflnken, so dafl wir diesen Fafl ausschlieflen kdnnen* 

In der Badverarbettung ist das Resultat (29) outer dem Namen ^ampling/HistDgram Equalization* bekannt 
Es besagt, dafl maxfmale Wonmationstibertragung bei tmiformer AusgangsverteHuiig — also bei der Verteilung ts 
maximater Entropie — erreicht werden kamu 

Phys&afisch geseben liBt sich dieses Ergebnis leic&t plausibei m*nhf*n* eine grofie Menge an Information wird 
dann fibertragen, wenn das Einganggsignal am Ausgang wieder fein aufgeltist werden kann* Bei Stichproben der 
empirlscb ermittelten Vertdhmg 7bCN) beobachtet man die meisten Stichproborwerte in der Nine der hi-Werte, 
fur die Y{0u) groB 1st Urn diese gut voneinander trennen zu kSnnen, mufi doit audi die Steignng der Transfer- 20 
funktion moglichst grofl sein. Yersciuedene Ausgangswerte Hegen somit weit auseinander mid kdnnen trotz 
Rauschens noch unterscbieden werden. Eine untere Schraofce fur die Autiosung ist dabei dnrch die vera 
Ranschen bedingte Skalierong am Ausgang gegeben. Die Rauschst&rke, «n<»n<Jlir»h klein, aber angleich null, setzt 
also ein Ma£ far die Trerascharfe der Monnatkxi^bertragung, 

Nachdem wir im letzten Absdmht gesehen haben, dafl ein faktorieDer Code bei entsprechender Wahl der 25 
TVansf erfunktionen maximalen Inf ormationstransf er garantiert, wollen wir nun auch nodi <fie eutgegengesetzte 
Ricbtung zeigen: Maximierung der Transmfdrmation fBhrt zu einem faktorieilen Code; fails ein soicber exbderL 
Die Redundanz R Im Ausgabe-Code, bedingt durcb Korrelationen wisdtien den einzelnen Ausgabewerten, ist 
definiert ak 



30 



«=i: ff («)-^(s). (3i) 



Fur die eindimenrfonalen Bntropien H(qj) and die mnIfjHMw»i«iftnai» Entropie H(q) setzen wir jetzt den im 35 
letzten Abscfanitt bergeleiteten Ausdruck (26) fflr die einzelne und fur die gememsame Entropie ein: 



DadieRedtmdanzRimmermdttnegativisirgatmit 

-H = -££>i + L>>G (33) 
i 

unddamit auch 
i 

Bei den einzelnen Sunwnanden von ZjDj itandeta es sich aber ledigKch um Knllback-Leiblet^Distanzen, so dafi 
audi diese die Bedingung der Nichtnegativitat erfQllea Man erhMt schlieBlich die Ungfeichungskette 

D * 5>i * °. _ (35) 

/ 

D -* 0 0- (36) 
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Eine Maxunierung der Transmf onnanon I and die damit verbundene Minimienmg der IQdlback-Leibler-Di- 
stanz D Transfofimkubnen gegebenen Dfchten fGhrt also zwangslaufig zur Minimienmg der Redtmdanz, falls 
ein faktorieller Code eristiert In unserent speziellen Fall invertierbarer und beschraxtkter Transferfunktfonen, 
nicht vorhandenem rang^ ngsraqschg^ mid verscbwizidextd geringem, d. h. infinitesimal kleinem, aber positivem 
Ausgangsrauscheu erhatten wir ™fflimm mit (30) das Hauptergebnis dieses gesamten Kapitels fiber Informa- 
tk»mverarbeitnng in ncuronaien Netzem 

EEDUNDANZMINIMIEEDNG 
INFOEMATlQNSMAXIMIBBUNGi (37) 

unter der Voraussetzung, daB cm f aktorielle r Code exis tiert (tst die s nicht der Fall, daim soD die Po tentialve rtei- 
ltmgwemgstcna so weit wie mfiglrch faktorisiert werden). Es 1st aUcrdmgs zu beadrtep^dafl es genangenommen 
nor die IpfonmtionsmaxinrierungistdieOT 
fifwrtga^ing aw^d^ T ^^ f f KtJ n H^y™^ iivq^i"^b^ 

Dieses & gcb n is hat eine fundamental Bedea to ng fur unuberwachte Leiuveifahreii: die Koste nf ankt km 
ifrfn-wWt girfi airf rfwi rnfftirtflT.Twm, A h. dig ^nflhngk-Lgihfer-Distafrg (3fifr dig das nenmnale Mete mimmicrgn 
soILEs istwiditigzubemeTkeii, daB das Minima — 0 mir erreicht we rden kann, Mis die Transformation T 
imdcfieTranderfunktionen ftallgemembzw.flexibelgenug sind 
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PatentansprQche 

1. Lernverfahren zur Nachbikhing ernes dynanrischen Processes durch gememsanies Erlernen von mmde* 
stens zwei Zeitreihen, welche jeweiis verschiedene Prozeflobservable darstellen, 

a) bei dem jede ProzeBobservable durch einen Ftmktzotisapproximator nacngebOdet wirdL 

b) bei dem jedem Fiinktionsappmximntor lediglich in der Vergangenheit Begenden Werte after Zeitrei- 
hen aur VerfOgtmg gesteBt werden, 

c) bet dem die emzelnen Werte enter jeweiOgen Zeltreihe aufgefaBt werden ais rart einer je Wert 
gpwnBgnhgn w»hr ^AfnKffhlrf» itCTWM^aiifig auftretende Realisienmgen eines stochastischea Prozesses, 

d) und bei dem zum Training des Ftaiuctionsappramnato^ 

Gegenwartswert der Zeltreihe in Form eines Ansgabewertes addiert wird und vom Funktromapprood- 
mator ais Ausfuhnsngsfunktu>n erne s 

Ik&keitsverteilung dieses Ansgabewertes von der WahrscheinlMucehsverteihing aller zngeruhrten 

Werte optimal dekorreuert ist 
Z Verfahren nach Anspnich 1 9 bei dem alle Vergangenheitswerte der Zeitreihen identisch ausgegeben 
werden. 

3. Verfahren nach einem der vorangehenden AnsprOdie, bei dem anf alle anszugebenden Werte erne 
differenzierbare Obeitragangsfunktbn angewendet wird, welche ihnen einen Wert zwischen 0 und 1 

ZUwcj&L 

4. Verfahren nach einem der vorangehenden AnsprSche, bei dem die Zettreme einer bisher nicht verwende- 
ten Prozefiobservablen zugefuhrt wird, rails mit den aktueD verwendeten Zeitreihen keine Dekorrelation 
mdguchisti 

5. Verfahren nach einem der vorangehenden AnsprQche. bei dem zur Einstellung der Ausfulmmgsftmkdon 
am jeweuigen Fonktionsapproximator folgcnde Funktion ■naximiertwird: 
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mit: 

V: Abieitimgder Obertrugungsfunktion (8) 

h: multidimensionafes postsynaptisches Potential bestehend aus alien Vergangenheitswertea end den Sum- 
men von Gegenwartswerten mit den Ansgaben der Funkiionsapproximatoren 

Hfz multidimensionale Wahrscfaemiicbkeitsverteilung am Ausgang 5 
D; Kullback-Leibler Distanz 

6. Verfahren nach Anspmch^bei dem das Integral in Gleichung (7) durcb folgenden, als Kostenfunkdoa zu 
minimierenden Term angenflhert wird: 

10 

M 



(9) 



1 ** 

15 

mit: 

M:AnzaM der Eingabemuster 

IP 1 : midtzdimenskmales postsynaptisches Patented 

hf4 eradimensionaies postsynaptisches Potential 

und bei demfoigende Niherung bemitzt wird: 20 



V&'l^-r—'ZZ do) 




mit: 

: Wftrfet derden Wert IP* enthalt 
ZZ: Anzabl der Punfcte im WOrf el 
p: Anzablder Ausgabewerte 

1: KantenlSnge des Wtlrf els so 

6. Leraanordmmg zur Nachbildung eines dyuamischen Prozesses dnrcb gem ein sarnes Erieraen von minde- 
steos zwei Zeitreihen, welche jewels verschiedene Proze&observabie darstellen, 

a) bei der mindestens erste und zweite Funktionsapprpyimationsmittel zur Nachbfldung des Zeitver- 
haltens der jeweffigen ProzeBobservablen vorgesehen and 

b) bei dem jedem Fimktionsapproximatonsmittel ledigiich in der Vergangenheh liegende Werte afler 35 
Zeitreihen zugeffthrt werden, 

c) und bei do* im jeweifigen Funktionsapproximatioiisniittel dne Ansffihnmgsftnikdon aus einem der 
Ansprflche 1—5 ansg^&hrtwird. 

7. Lema aordnung nach Anspruch 6, bei der als Funkdonsapproxnnatiottsmittel ein nenronales Netz vorge- 
sehenist 40 



Hierzu 3 Sehe(n) Zeichnpngen 
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